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现场 交互 艺术 的 交互 系统 与 控制 行为 设计 
一 一 以 Myo 胶带 为 例 


摘 要 : 近年 来 ,数字 技术 的 飞速 发 展 ,使 基于 数字 媒体 艺术 的 交互 艺术 得 到 长 足 发 展 。 以 交互 设计 为 创作 主体 的 交互 艺术 ， 
在 外 部 交互 设备 不 断 更 新 的 情况 下 其 艺术 形式 、 创 作 方式 等 都 在 不 断 改 变 。 而 穿戴 式 传感器 的 使 用 突破 了 交互 艺术 原本 表演 
与 装置 感应 空间 之 间 的 限制 以 取得 更 好 的 艺术 表现 。 本 文 以 穿戴 式 感 应 设备 Myo 腕 带 为 案例 ， 根 据 现 场 交互 艺术 的 交互 系 
统 模 式 与 交互 行为 特征 ， 从 交互 信号 规则 与 交互 行为 模式 两 方面 展开 讨论 。 

关键 词 : 交互 控制 ; 行为 设计 ; Myo 腕 带 ; 传 感 信号 


中 图 分 类 号 : TP393 文献 标识 码 : A 
文章 编号 : 1671-0134 ( 2018 ) 03-075-03 D01: 10.19483/j.cnki.11—4653/n.2018.03.032 
文 / 潘 溯 源 


数字 媒体 艺术 是 伴 着 随 计算 机 技术 的 发 展 而 产生 的 ”作品 的 展示 表演 提供 了 更 多 的 可 能 性 ， 从 固定 位 置 动作 捕 
新 兴 艺 术 模式 ， 也 被 称 为 新 媒体 艺术 、 多 媒体 艺术 。 随 着 。 捉 的 Kinect、Leap Motion 到 可 穿戴 式 的 5DT 数 据 手套 、 
科技 的 创新 又 出 现 了 包括 装置 艺术 、 交 互 艺 术 、 数 字 游 戏 ”Myo 腕 带 等 中。 在 拥有 各 类 设备 辅助 之 后 ， 艺 术 家 如 何 设 
艺术 、 虚 拟 现实 艺术 等 多 种 基于 数字 媒体 的 艺术 形式 。 其 ” 计 交 互 系 统 与 表演 行为 ,是 现场 交互 艺术 作品 的 成 败 关键 。 
中 , 交互 艺术 以 其 交互 性 为 最 主要 特点 , 结合 软 硬 件 设计 、 本文 以 Myo 腕 带 为 案例 ， 对 现场 交互 艺术 的 交互 系统 与 


艺术 内 容 创作 和 表演 形成 了 自己 的 艺术 模式 "。 控制 行为 两 方面 的 设计 规则 展开 讨论 。 
交互 艺术 根据 其 艺术 展示 形式 的 区 别 ， 分 为 非 现 场 ”1. 矩阵 信号 转换 与 有 效 控制 信号 选择 
交互 艺术 与 现场 交互 艺术 。 非 现场 交互 艺术 主要 指 通过 网 交互 艺术 不 论 以 何 种 方式 进行 交互 ， 其 目的 是 为 了 


络 与 计算 机 或 移动 终端 所 实现 的 信息 交互 艺术 。 此 类 交互 。 实现 对 信息 的 控制 。 因 此 ， 在 设计 系统 的 时 候 首 先 要 完 
艺术 作品 主要 的 交互 结构 产生 于 数字 信息 与 用 户 之 间 的 交 。 成 信号 筛选 工作 ， 以 确保 在 信号 采集 前 端 将 无 效 信 号 源 
互 ， 因 此 通常 不 需要 复杂 的 辅助 外 部 设备 ， 通 过 简单 的 鼠 。” 过 滤 并 完成 有 效 信号 的 分 组 输出 ,保证 信号 转换 模块 能 
标 键 盘 或 桌面 交互 完成 指令 即 可 。 现 场 交 互 艺 术 的 展示 表 。 够 直接 获得 相应 的 有 效 控制 信号 。Myo 腕 带 以 8 个 电极 
演 则 需要 一 个 固定 的 空间 或 场地 ， 例 如 博物 馆 、 游 乐 场 、 装置 通过 探测 手臂 的 生物 电 变 化 对 使 用 者 的 肌肉 运动 与 
舞台 等 。 现 场 交 互 艺 术 作品 相 比 非 现 场 作品 ， 可 以 利用 更 ”手势 进行 探测 ， 可 以 感知 包括 手臂 运动 、 手 势 甚至 手指 
多 的 展示 媒体 与 交互 模式 ， 通 过 辅助 性 外 部 设备 完成 更 加 ”动作 的 信号 。 通 过 Myo Diagnostics Page' 诊断 程序 提供 的 
多 变 的 交互 形式 ， 以 实现 艺术 的 表演 性 和 展示 性 。 各 类 高 。 信息 可 以 得 知 ，Myo 包含 了 IMU 微 惯性 测量 系统 (图 1 ) 
精度 的 体感 捕捉 设备 的 普及 与 产品 化 ， 也 为 现场 交互 艺术 。 和 EMG 肌 电 测量 系统 ( 图 2 ) 两 种 侦 测 模式 。 


AN 
WORIENTATION ”一 一 


.02413902 y: 0.00390166 
2 0.01238798  w: 0.99958730 


SET ORIGIN 


图 1 Myo 腕 带 的 1MU 微 惯 性 测量 系统 信号 界面 
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2 Myo 腕 带 的 EMG 肌 电 测量 系统 信号 界面 
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IMU 微 惯 性 传感器 由 三 个 单 轴 加 速度 计量 仪 和 三 个 
单 轴 陀 螺 仪 组 成 ， 对 使 用 者 的 运动 进行 侦 测 ， 进 而 在 三 
维 空间 中 展开 基础 定位 、 相 对 位 移 、 方 向 角度 和 倾斜 角 
的 判断 ， 是 如 今 主 流 运动 侦 测 的 模式 之 一 ， 包 括 WII、 
HTC VIVE 等 游戏 控制 器 大 部 分 主流 品牌 的 智能 手机 中 都 
会 置信 。 而 在 艺术 表演 的 过 程 中 ， 无 论 是 乐器 演奏 、 舞 
蹈 还 是 戏剧 表演 ， 表 演 者 身体 必然 会 产生 局 部 或 整体 的 
运动 ， 通 过 在 身上 不 同 的 部 位 放置 IMU 微 惯 性 传感器 即 
可 将 表演 动作 直接 转换 为 针对 数字 影像 、 声 音 等 媒体 信 
息 的 控制 信号 ， 使 之 产生 交互 控制 。 

EMG 肌 电 传感器 则 用 来 测量 肌肉 收缩 时 伴随 的 电信 
号 ， 目 前 ， 医 学 领域 和 军事 领域 对 该 技术 使 用 较 广 ， 在 数 
字 媒 体 领域 则 主要 运用 于 穿戴 式 动作 捕捉 系统 的 辅助 系 
统 。 由 于 EMG 肌 电 传感器 直接 针对 肌肉 运动 产生 的 生物 
电信 和 号 进行 侦 测 ， 即 使 像 钢 琴 演 奏 或 弦乐器 揉 弦 这 样 细微 
的 动作 都 可 以 通过 EMG 肌 电 传感器 准确 识别 。 相 比 IMU 
微 惯性 传感器 , 它 可 以 表现 出 更 多 内 在 力量 的 改变 。 因此， 
在 表演 中 即使 在 保持 固定 动作 的 前 提 下 ,使 用 EMG 肌 电 
传感器 和 肌肉 舒张 等 细微 动作 也 能 够 实现 交互 控制 。 

在 Myo 腕 带 上 ， 工 程 师 为 了 能 够 精确 地 对 手臂 及 手 
部 动作 和 肌肉 运动 进行 捕 提 ， 设置 了 8 块 EMG 肌 电 传 感 
器 环绕 于 整个 小 臂 对 肌肉 的 电信 号 实施 侦 测 ， 以 此 判断 
使 用 者 手 部 的 细微 动作 。 目 前 的 腕 带 可 识别 手掌 内 翻 、 
外 翻 ， 五 指 张 开 ， 握 拳 和 摇滚 羊 头 五 种 手 型。 很 可 惜 虽 
然 Myo 胶带 开 放 了 部 分 开发 工具 包 ,， 但 目前 由 于 手势 识 
别 的 运算 是 在 腕 带 内 直接 完成 ， 所 以 用 户 无 法 根据 自己 
的 喜好 去 添加 其 他 控制 手势 。 虽然 它 限制 了 脐带 的 多 种 
可 能 性 ， 但 同时 也 确保 了 腕 带 在 运行 中 的 稳定 性 并 减 小 
了 宿主 计算 机 的 运算 压力 。 

设计 基于 Myo 的 交互 式 系统 时 ， 首 先 要 做 的 工作 
无 疑 是 将 腕 带 输 入 的 矩阵 信号 转换 为 独立 信号 源 。 在 
MaxMSP 平台 中 ， 有 两 种 方式 可 以 分 解 Myo 腕 带 发 送 的 


EE 


言 号 : 第 一 种 方式 是 将 Myo 腕 带 的 信号 转换 为 OSC 信和 号 ， 
然后 再 发 送 至 MaxMSP 平 台 ， 利 用 “0SC-Route” 物 件 
分 解 矩 阵 ， 以 独立 信号 源 的 模式 发 送 至 各 输出 端口 吕 ; 
另 一 种 则 是 使 用 基于 “Thalmic Lab” 开 发 包 的 “Myo” 物 
件 ， 直 接 接收 Myo 胶带 的 信号 并 分 解 发 送 至 相应 的 输出 
端 中 。 相 比 之 下 0SC 信和 号 接口 更 为 通用 ， 对 系统 环境 的 
要 求 也 较 低 ， 对 装 有 Xcode 的 0S X 系统 都 适用 。 而 基于 
开发 包 的 独立 物件 则 必须 使 用 OS X 10.11.5 以 上 的 操作 系 
统 ， 并 且 系 统 内 安装 XQuartz 才能 使 用 。 从 功能 上 来 看 ， 
“Myo” 物件 能 直接 调 取 Myo 脐带 的 8 条 EMG 肌 电 信息 ， 
相 比 目前 版 本 的 OSC 接口 信号 只 能 调 取 5 种 基础 手 型 而 
言 提 供 了 更 多 的 备 选 信号 源 (图 3) 。 
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在 现场 交互 艺术 作品 创作 的 过 程 中 ， 调 用、 更 换 控 
制 信息 的 情况 时 常 出 现 ， 因 此 完成 信息 分 解 及 分 组 的 工 
作 十 分 重要 。 只 有 尽 可 能 地 将 可 能 使 用 到 的 信号 从 矩阵 
模式 分 解 为 独立 信号 源 ， 才 能 为 后 期 有 将 控制 信息 的 选 
择 提 供 更 多 的 可 能 性 , 才能 保证 控制 信息 的 最 大 精确 度 。 
2. 控制 参数 设置 与 控制 行为 设计 

有 了 分 解 的 独立 信号 之 后 ， 第 二 步 则 要 根据 展示 方 
式 进 行 数据 的 选择 与 动作 行为 的 设计 。 交 互 艺术 中 ,由 
于 场地 空间 的 不 同 ， 使 用 技术 的 不 同 甚 至 表演 、 展 示 方 
式 的 不 同 ， 其 针对 参与 者 的 交互 行为 也 会 受到 影响 。 根 
据 Myo 腕 认 所 装置 的 传感器 与 佩戴 方式 来 看 ， 理 论 上 使 
用 者 可 以 通过 身体 的 运动 实现 腕 带 的 全 角度 翻转 、 移 动 
控制 和 小 辟 甚 至 手 部 动作 的 控制 。 然 而 ,现实 操作 中 的 
要 求 更 为 复杂 ， 选 择 使 用 包括 Myo 脐带 在 内 的 体感 交互 
装置 的 数据 和 演奏 马 弦 类 乐 右 时 选用 对 应 的 琴 弦 与 把 位 
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的 原则 同样 重要 ， 如 果 使 用 了 错误 的 琴 纺 即使 演奏 出 
同样 的 音 高 ， 音 色 也 会 受到 影响 。 

Myo 腕 带 对 手臂 运动 的 侦 测 极为 敏感 ， 和 矩阵 内 的 数 
据 组 也 提供 了 非常 全 面 的 运动 数据 。 相 对 地 ， 在 决定 使 
用 哪 一 组 参数 作为 控制 参数 的 同时 ， 使 用 何 种 行为 进行 
控制 也 十 分 重要 。 例 如 ， 在 手臂 自然 下 垂 状态 下 仅 需 要 
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即使 将 信号 单位 换算 为 千 位 信息 也 很 难 获得 一 个 相对 稳 
定 的 数值 ; 其次， 肌肉 的 张弛 控制 也 并 非 易 事 。 所 以 ， 
比 起 EMG 肌 电 信号 的 使 用 整 租 数据 进行 精密 控制 ， 仅 利 
用 强度 差 进 行 简 单 控制 更 容易 实现 。Myo 腕 带 中 EMG 肌 
电信 号 的 使 用 最 便捷 的 方法 则 是 利用 五 种 基础 手势 。Myo 
开发 团队 通过 大 量 的 测试 与 采样 确保 五 种 基础 手势 的 精 


旋转 90 度 ， 腕 带 中 的 微 惯性 传感器 中 的 X 轴 定位 信息 
就 已 经 产生 了 极 大 的 变化 ， 参 数值 从 0 升 至 0.5 ( 闽 值 为 
-1.0~1.0 ) ,而 若 要 在 了 Y 轴 或 Z 轴 上 获得 同样 的 参数 变化 ， 
则 需要 将 自然 垂下 的 手臂 横向 向 外 (Y 轴 ) 或 向 前 (2Z ) 
轴 伸 平 ， 动 作 明 显 相 较 改变 X 轴 的 信号 大 得 多 (图 4) 。 
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图 4 手臂 完成 规定 动作 前 后 定位 器 的 参数 变化 
为 了 获得 同样 的 参数 , 可 以 使 用 简单 细微 的 小 动作 ， 
也 可 以 使 用 舒展 夸张 的 动作 ， 具 体 的 动作 设计 则 需要 根 
据 以 下 两 条 原则 。 


确 识别 ， 通 过 基础 手势 与 微 惯性 探测 仪 共同 生成 控制 数 
据 形 成 的 行为 控制 远 比 使 用 单个 传感器 接收 的 数据 更 为 

在 现场 交互 艺术 作品 创作 的 过 程 中 ， 传 感 器 的 矩阵 
言 号 分 解 后 会 产生 大 量 数据 ， 而 此 过 程 中 准确 地 使 用 参 
数 ， 合 理 的 动作 行为 才能 提供 有 效 的 控制 信息 ， 完 成 有 
效 交 互 。 数 据 选择 时 要 注意 关联 数据 的 分 配 与 使 用 ， 同 
时 根据 传感器 的 特点 与 信号 变化 模式 设计 展示 、 表 演 的 
行为 动作 ， 通 过 使 用 不 同 的 传感器 分 配 、 组 合 使 用 传 感 
器 信息 ， 实 现 最 有 效 的 交互 控制 设计 。 

现场 交互 艺术 作品 的 交互 设计 需要 考虑 空间 、 行 
为 动作 以 及 交互 装置 三 大 要 素 。 体 感 技术 使 现场 交互 
艺术 更 具 创 造 性 ， 其 中 包括 Myo 胶带 在 内 的 各 类 多 传 
感 组 合 系统 构成 的 体感 装置 提供 给 艺术 家 更 多 的 选择 。 
在 设计 的 过 程 中 ， 通 过 矩阵 信号 的 分 解 将 有 效 信号 源 


第 一 ， 交 互 行为 产生 的 关联 信号 干扰 与 有 效 控制 信 
号 的 组 合 。 一 般 意义 的 关联 信号 指 的 是 由 函数 关系 产生 
的 相对 关系 数值 ， 而 此 处 的 关联 信号 则 是 指 由 人 为 行为 
习惯 导致 相 互 影 响 的 信号 。 人 的 行为 不 同 于 机 器 硬件 ， 
人 的 行为 动作 大 多 由 多 个 肌肉 彻 带 组 织 甚至 骨髓 关节 共 
同 完成 ， 若 没有 长 期 专业 的 训练 ， 相 似 动作 之 间 影 响 是 
不 可 避免 的 。 例 如 ， 使 用 Myo 腕 带 时 ， 举 辟 时 由 于 肌肉 
习惯 产生 的 横向 偏 移 和 手臂 旋转 的 角度 ， 都 会 对 微 惯性 
探测 数据 产生 直接 影响 。 对 于 此 类 情况 ， 一 方面 使 用 者 
或 控制 员 长 期 的 练习 是 不 可 避免 的 ; 男 一 方面 则 是 交互 
设计 过 程 中 对 信号 的 选择 与 行为 动作 的 合理 设计 ， 控 制 
系统 设计 过 程 中 应 避免 此 类 干扰 信号 ， 例 如， 此 处 的 定 
位 信号 组 XYZW 四 组 信号 可 以 分 配给 不 同 的 时 间 轴 或 独 
立 的 控制 内 容 ， 也 通过 换算 合 为 一 条 控制 信息 ， 通 过 点 
定位 的 方式 用 以 触发 特定 的 开关 元 件 。 

第 二 ， 交 互 行为 的 可 实现 性 与 有 效 性 。 人 有 很 多 种 
行为 动作 ， 但 并 不 是 所 有 的 行为 都 可 以 用 于 交互 行为 。 
Myo 腕 带 虽 然 设 置 了 8 个 EMG 肌 电 传 感 咒 ， 但 想 直接 通 
过 这 8 个 传感器 的 静电 信和 号 进行 交互 行为 感应 并 不 是 最 
好 的 选择 。 首 先 ,， 肌 电 传感器 的 瞬时 信号 变化 过 于 人 敏感， 


独立 分 组 ， 再 根据 作品 需求 设计 交互 行为 并 调制 控制 
参数 的 闽 值 与 控制 目标 ， 实 现 交 互 的 完整 性 、 合 理性 
与 艺术 性 。 嘻 
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